摘要：为促进航空安全，国际民航组织（简称ICAO）确立了在全球推广民航英语国际化标准及ICAO 英语语言能力要求（简称LPRs），中国民航局飞行标准司依据此国际化标准和要求，开发了中国民航飞行员英语等级测试系统（以下简称PEPEC）并以此构建了中国民航飞行员英语等级测试题库。本文认为PEPEC题库建设以ICAO LPRs为设计出发点，对评估中国民航飞行员英语能力具有重要的实践意义，通过分析PEPEC题库测试现状中存在的问题，结合最新ICAO推荐标准和语言测试理论，提出中国民航飞行员英语测试题库的优化策略。

关键词：PEPEC  题库建设  英语  优化策略

国际民航组织（ICAO）针对多起不安全事故，在全球各成员国推行语言能力要求，以解决因为语言熟练程度不够，导致通讯差错而发生的航空不安全事件及事故。同时ICAO民用航空公约附件一提出要求从事国际和国内特殊航线运行的飞行员、管制员等相关人员必须达到规定的语言等级4级及以上水平才能从事相关运行。为此，ICAO专门发布了《国际民航组织语言熟练程度要求实施手册》（即9835号文件），为各成员国积极推进民航英语语言等级评估和测试提供参考和指导。中国民航针对ICAO关于语言能力测试和语言技能要求，借鉴语言测试理论，开发了基于网络的中国民航飞行员英语等级测试系统（即PEPEC）。PEPEC测试系统是基于网络开发的包括考试报名、出题、审题、测试、评分、数据存储等各个子系统为一体的综合测试系统，特别是题库建设实现了计算机管理模式，为飞行员语言等级测试这种主观性较强的高风险测试，借助计算机考试和评分，实现了客观、公正评估飞行员的英语语言等级。同时计算机管理的测试题库也实现了随机抽取试题的功能，保证考生考试的试题难易度均等及考试的公平性。但PEPEC测试题库自2008年运行以来，ICAO随后又提出了新的要求和推荐标准，部分测试题型测试等级、评分机制等与新标准有差异。本文通过介绍PEPEC题库建设的实践意义，分析PEPEC题库存在的问题，结合ICAO新的推荐标准和语言测试理论，提出进一步完善并优化PEPEC测试题库的策略，使之更好服务于中国民航飞行员英语能力提升及等级评估，保证中国民航国际和国内英语航线运行安全。

一、PEPEC题库建设意义

为更好推进ICAO有关飞行员英语语言能力的要求及执照签注需求，进一步提升中国民航飞行员英语能力，使中国民航国际航线安全运行，针对ICAO LPRs的标准和测试要求，中国民航局飞标司2007年启动了飞行员英语等级测试的立项和研究，组成了由资深国际航线运行的飞行员、空中交通管制员、语言测试和局方专家等人员构成的英语专家组，开始了中国民航飞行员英语等级测试题库建构。以现代语言测试理论为指导，结合我国民航飞行员工作特点，依据语言测试的实用性、针对性、真实性原则构建PEPEC题库，确定了PEPEC的测试目的、测试内容、测试题型、命题范围等，建立了基于网络和计算机的、具有中国民航自主知识产权的PEPEC题库，并于2008年正式开始了考试。经过多年的运行，PEPEC题库为飞行员英语能力评估发挥了重要作用，意义深远。

（一）PEPEC题库构建原则

1. 测试的实用性原则。实用性是为语言学习者提升语言应用能力，目的是提供一种科学的测试工具，通过对考生语言运用的抽样，对考生的语言能力进行客观的、准确的、公正的评价。因此飞行员考试题库建设要以飞行员工作实际为出发，设计适合航空运行特点的考试题库，同时与实际通信中使用英语的能力相结合进行评估，形成最终的评定等级，具有实用性。

2. 测试的针对性原则。飞行员考试题库是用于评定飞行员的英语等级并使其获得执照签注最低四级以满足国际航线运行需求。ICAO LPRs提出空地之间的无线电通话不仅限于标准术语，还必须具备简明通用英语的能力。这就意味着测试内容必须与飞行员今后的飞行实际所使用的通信语言相关，围绕航空通信中的标准术语和非正常情况通话中的简明通话能力进行测试，评定飞行员的语言能力由最低一级到最高六级，因此具有针对性。

3. 测试的情景真实性原则。Bachman（1991）提出应该从两个方面定义测试的真实性：即情景真实性和交际真实性。情景真实性指测试方法特征与将来某一特定目的语使用的情景特征相关的程度。在语言测试方法上，主张把测试情景化，形成心理语言学-社会语言学测试，它在强调听、说、读、写全面发展的同时，更注重考生口语和听力能力的测试。交际的真实性在测试中无法更好体现，只有在日后的语言使用环境中才能得以体现。ICAO LPRs要求测试飞行员和空中交通管制员的无线电通话的口语和听力能力，测试语境是飞行实际中可能会遇到的非正常和紧急通信情况下的通话能力。因此PEPEC题库的命题范围是ICAO指定的常见的常规和非常规运行范围，具体内容在9835号文件附录中有所列举。PEPEC考试任务必须与将来目的语的使用情景特征相一致，这样的考试任务才具有情景真实性。

（二）PEPEC题库建设的实践意义

PEPEC题库于2008年建成并正式考试以来，为评估中国民航飞行员英语能力等级评定发挥了重要的作用。具体体现在以下几点：

1.标准化测试题库，体现了测试的公平客观。

PEPEC题库是PEPEC测试体系中的重要组成部分，经过民航英语专家组论证，结合ICAO LPRs有关语言测试要求，考虑到中国民航飞行员数量多、分布地域广，需要持续的、安全性高的测试题库满足ICAO LPRs整体性对语言的语音、结构、词汇、流利性、理解、交互性等六方面语言技能进行从最低一级到最高六级的评估。由于PEPEC考试涉及到航空安全、职业、经济等因素，因此是一种高风险的测试；而且语言能力评估倾向于主观性评价，如何把主观性较强的高风险测试进行合理客观评价而不掺杂个人的人为因素影响飞行员的考试结果，是题库所要解决的重要问题。PEPEC通过使用计算机考试，组建考试题库，考试时所有试题均选自同一题库，每次的测试由计算机按一定规则随机抽取试题的测试题目难度基本相同，即用同一个尺度去衡量不同的考生，组合成的每一套测试题目标准统一但试题内容都不相同，从考试形式上保证了考试的客观公正。

2.试题质量高，标准统一。题库中的试题来源于民航院校、语言培训机构和航空公司，出题人按照出题原则和命题范围要求，将试题上传PEPEC系统，经民航局英语专家组集体在系统上评审并严格筛选后，符合考试内容要求的试题进入题库，不达标的试题淘汰。为保证试题质量，专家组专门对相关公司和民航院校进行了出题范围和题型结构的讲解，让出题人明确针对飞行员听说能力方面的考试取材、考试形式和考试重点。在审题过程中，每道试题由专家进行定级，使今后计算机组题时按统一的标准，使每个考生的试题具备相同的难易度。

3. PEPEC题库题型设计合理。按照ICAO语言能力要求，PEPEC考试以测试飞行员听说能力为主，结合飞行员工作实际，PEPEC题型结构设计了包括听力选择题、语句复诵、模拟情景对话、故事复述（仅用于5级及以上测试）及口语能力面试等五部分的测试结构。题库运行的过程中，专家组通过问卷调研、测试数据分析等方法，认为PEPEC题型设计科学合理，运行可靠，在一定程度上考查了飞行员的英语听说能力。

4.评价机制符合ICAO要求。PEPEC测试结果评估体系参照ICAO整体性评估和标准评分表，从飞行员语言技能的语音、结构、词汇、流利性、理解和交互性等六项技能进行评估。测试结果由局方通过培训并选拔出的多位评分员在系统上进行评定，体现考试结果的公平性。考试评价机制可靠，考试结果较好地反映了我国飞行员是否具备航线运行中的英语通信和特殊情况下使用英语交流的能力，具有较高的考试信度和效度。

5.试题库保密性和安全性较高。依据ICAO LPRs及题库建设遵循的原则，高风险的测试必须具备良好的保密性和安全性。PEPEC题库管理由计算机管理，测试的大系统由各自权限不同的人员围绕考试进行权限范围内的相关考试管理工作，分工不同、职责不同、权限不同。相应来讲，题库的保密性和安全性较高。

二、PEPEC题库运行中存在的问题

PEPEC题库自建成运行以来，承担了中国民航飞行员英语语言能力的评估，保证了我国航空运输业国际航线和国内特殊地区航线运行的执照签注需求；通过测试，也增强了飞行员英语学习的积极性，以考促学，提升了飞行员在实际通话中的语言交流能力。但PEPEC题库在试题数量、考试信度和效度、等级划分及评分机制等方面也存在一些不足。

（一）PEPEC题库试题题量不足。据统计，2009年，PEPEC题库考试量为每年3000人次，可是到2018年，增长为16813人次，考试量对比2009年增加了5倍多。题库建设初期，为保证考试的信度和效度，民航局每年多次组织民航院校、航空公司集中性出题、专家组审题及试题录音制作后进入题库，试题题量逐年增加，满足了题库建设初期的测试需要。但近几年，PEPEC考试量每年都在递增，可是由于题库管理模式和建设经费的问题，导致试题的数量增长缓慢，题量相比考试量的激增而严重不足，足够大的试题量可以保证多次用题而不至于枯竭，即便是公开题库也能保证试题的保密度。可目前PEPEC题库的数量增长与考试量增长不成比例，题库数量严重滞后，虽然考试试卷的组合由计算机优化而成，但有限的题量使考试重复使用率过高，加之考试后考生之间的信息交流，导致题库的质量下降。

（二）考试信度和效度下降。信度指考试结果的可靠性和稳定性，即测试是否反应了考生的真实语言特征。效度指一套测试所考的内容是否考了想考的内容。语言测试题库质量的高低一般通过对试题进行效度和信度分析进行判断。高质量的题库能清楚地反映出考生对语言的理解和运用能力，其获得评估的相应等级也能真实反映出其相应的语言能力。但从目前PEPEC考试结果统计来看，四级通过率得到了普遍提升，据统计，2018年，PEPEC四级及以上通过率为73%，飞行员四级执照签注率为92%。一方面说明了飞行员英语能力真正得到了提高，但另一方面说明由于题库数量不够大，导致部分考生的考试内容正好是复习和准备内容，考试结果不能真正反映考生实际水平，考试题库扩充速度滞后，导致有限的试题重复出现率高，考生容易准备，无法真实测出考生的真实英语水平，这也是目前最严重的影响考试信度和效度的因素。

（三）题库测试等级划分不合理。按照PEPEC考试大纲，依据ICAO评分等级，对考试进行了两种分类，即工作级和专家级（5级和6级）考试两种。故事复述题的测试仅供专家级考试，而工作级考生不考。审题过程中，审题专家只对听力选择题进行了1-6级的难度等级划分，便于计算机对客观题测试均衡抽取难度系数相同的试题，但是在情景对话和OPI审题时没有进行难度分类，使难度不同的两种类别的测试，但试题本身的难度划分不明显，导致考生在应对专家级考试时的题目可能比工作级要简单。另外在评分时对工作级和专家级均按1至6级的评分标准进行评分。

（四）评分机制缺乏可操作性。ICAO LPRs包含一系列对语言能力从一级到六级评价的整体性描述和包括语音、结构、词汇、流利性、理解及交互性等六个技能的评分标准表，其中五个整体性描述提供了语言熟练者所具备的所有特点，而评分标准表则描述了语言使用过程中各项不同的特点。“整体”是指通信的个人作为一个“整体”，与之相对的是评分标准表中的单项描述，这些单项描述审视每一个独立的语言应用特点,即整体性考察的是一个人使用语言的整体能力，而评分标准表中考察的是个人使用语言的每一个侧重点。鉴于ICAO LPRs评分等级表可以作为对评判的指导，它是统一全世界的飞行员和空中交通管制员语言应用标准的重要第一步。因此PEPEC评分机制完全依据ICAO评分标准表，同时评分员参考整体性描述进行分项技能的评判，虽然PEPEC考试大纲中规定了题库各部分题型的评定细则，但细则的可操作性不强，还是在评分中容易出现误差和理解偏差，评分结果在考生成绩报告中也无法体现具体分项的存在问题。

三、PEPEC题库优化策略

PEPEC题库建设启动于2007年，参照ICAO 9835号文件第一版确定了考试的题型结构、等级划分、评分机制等；在2009年6月，ICAO出版了318号公告，即《促进全球统一化的语言测试标准》，于2010年9月又出版了9835号文件第二版，这两个文件进一步为全球各成员国实施执行语言能力测试提供指导，特别是对测试题型设计、测试方法、测试人员资质等提出了建议标准，对照这两个文件，分析PEPEC题库存在问题，本文提出PEPEC题库优化策略。

（一）加强PEPEC题库动态性管理。所谓动态性，就是题库要不断补充与更新，每次考试后对不合适的试题进行必要的修改和删除。随着民航新技术的使用和部分政策和规章的修订，题库中涉及的考试点及考试重点应该有所变化，原题库中的试题也就过时，因此需要对题库试题内容进行修改。例如PEPEC试题中有关禁止旅客使用手机的规定、传统进近方式等方面的话题，都有待于及时更新或删除。

（二）设置PEPEC题库组卷时的激活与非激活功能。有些题目在相同考试中不能紧接着在下一周期出现，而需要锁定一段时间，这就是非激活。一些从未用过的新题或者一些核心试题，每次考试都要保留一定比例，这就是激活。由于题库量不够大，题库组卷时的激活与非激活功能无法在PEPEC题库实现，PEPEC新题加入考试系统，原有的试题依旧进入考试题组题状态，无法实现非激活功能。有些飞行员三年后的复考还是会重复遇到三年前考试的原题。借鉴IELTS考试，每隔三个月会有部分新题加入题库或者原有试题换一种问法继续使用，这样可以定期保持试题的更新。建议PEPEC题库如果能在扩充题库的基础上，把每一试题都标出激活与非激活，就能保证考试内容重复率较低，确保考试的科学性。

（三）考试等级合理划分。首先从PEPEC题库的评分机制来看，按照PEPEC考试大纲，评分机制从1-6级可以参照ICAO整体性和评分标准表进行评定，但是按照318号通告和第二版9835号文件的新要求，承担5级测试评估的考试员和评分员应具备5级水平，而承担6级测试评估的考试员和评分员应具备6级水平，因此，2010年以后的PEPEC题库评估只规定评分员评定的等级限于最高级5级，PEPEC暂不对6级测试进行评定。其次，参照ICAO两个新文件的新标准，PEPEC题库有待于改进关于6级测试的确认。目前没有6级资质的考试员和评分员，因此PEPEC暂不进行6级评估，但今后可以通过提升考试员和评分员的英语能力和资格，使其具备6级资质，并考虑到 “在飞行员职业生涯中，不再进行语言能力评估”而专门制定关于6级测试的标准和程序。第三，就PEPEC题库工作级和专家级的划分，有待改进考试大纲，严格对照ICAO评分标准，对应相应的5级为扩展级，6级为专家级，从而对考生的考试结果进行精准区分。

（四）细化评分机制。为保持与ICAO LPRs的一致性和完整性， PEPEC评分机制完全参照ICAO整体性评估和单独的评分标准表进行评定。但在评分员从事评分过程中，因为评分标准的主观性把握而经常难以判断考生的实际水平，出现评分员之间的评分差异，虽然在每年一度的评分员复训中集中解读和讨论PEPEC各部分的评分标准，使大家达成共识，但还是缺乏可操作性的评分机制导致评分差异。今后，在目前PEPEC考试大纲评分细则的基础上，有待于细化语言技能的六项评估指数，使评分员易于掌握标准，并且为飞行员提供英语技能缺陷报告，有待于其今后针对不足和缺陷加以提升语言技能。

（五）保证试题库的安全性。PEPEC题库由于有出题人、审题人、考试员、评分员以及局方监察员等多重权限的用户各自登录系统，题库的多重使用和登录有保密性和安全性的隐患。今后随着考试量的增多，应加强和考试题库相关管理人员和工作人员的管理，签署保密协议，题库建设不易，一定建要立健全的各种管理制度，注意题库的加密性，杜绝储存试题或非法访问，防止考试题泄露。　

（六）加大题库建设资金投入。PEPEC题库建设是一个系统工程，随着中国民航飞行员数量的不断增长，考试量也不断增加，为维持考试题库的信度和效度，必须持续不断地投入资金、人力和物力资源维持题库运转。近几年题库建设资金投入不足，题库建设对应的财务管理文件不配套，导致题库建设任务包括出题、审题、试题录音、音频制作等各个环节的所需经费无法落实，题库建设相关工作延续和停滞不前，还由于资金不到位，有拖欠出题人和专家劳务费的现象。当前国家的财务制度越发严格，对于题库出题和试题制作这种人力资源为主和以发放劳务费为主的项目审计非常严格，有时受项目研究机制约束，无法保证题库的扩充和相关研究工作的开展。呼吁题库研究项目的管理上，适当地根据研究任务而灵活实施，这样既推进了题库建设工作，又激发了专业人员的积极性，使PEPEC题库走向良好运行轨道。

PEPEC考试题库建设是一个长期持续发展的、关乎中国民航飞行安全的大工程，只有认清考试现状，找出问题所在，才使PEPEC题库得到更好的改善。测试不是目的，测试的目的是提升中国民航飞行员的英语水平，因此信度和效度较高的测试题库，有助于准确评估飞行员的英语能力，形成测试的正向反拨效应，进一步推进中国民航行业的安全运行。

参考文献

[1] ICAO Doc 9835. Manual on the Implementation of ICAO Language Proficiency Requirements. International Civil Aviation Organization, 2004、2010

[2] ICAO Doc 318《促进全球统一化的语言测验标准》 2009 年 6 月

[3] 《中国民航飞行人员英语语言能力测试考试大纲》（PEPEC） 中国民用航空局飞行标准司  2015年10月10日

[4] 《中国民航驾驶员发展年度报告》（2018年版）中国民用航空局飞行标准司  中国民航出版社2019年3月 P 100，103

[5] 王国锋 《大学英语课程性试题库开发与应用初探》 [J] 山东外语教学 2010（2） P 63-68

[6] 刘润清 韩宝成 《语言测试和它的方法》外语教学与研究出版社 2000年5月第2版

[7]张晓丽，王国锋.大学英语试题库建设探悉[J].湖北经济学院学报（人文社会科学版），2010（5）P 172-173。